1.2 Assumptions and Terminology
用語集!
i.i.d (=independent and identically distributed)
training exampleについての仮定
all examples have been drawn from the same probability distribution and are statistically independent from each other
「すべてのデータは同一の確率分布から取り出され、互いに統計的に独立である」
(not independentとしてはtime-series)
Supervised learning and classification
この記事では、教師あり学習の分類に絞って扱う
0-1 loss and prediction accuracy
prediction accuracy (ACC) にフォーカス
正しい全予測 / データセット中のデータの総数(n)
prediction error (ERR)
is computed as the expected value of the 0-1 loss over n examples in a dataset S:
「データセットSのn例(※全データ)に渡る 0-1 loss の期待値として、ERRは計算される」
平均を出しているので期待値 (expected value)ということか!
0-1 loss(ロスは0か1か)
yiをi番目の真のクラスラベル、y^iをi番目の予測されたクラスラベルとし(☆)
yi == y^1のとき0
yi != y^1のとき1
Such a model maximizes the prediction accuracy or, vice versa, minimizes the probability, C(h), of making a wrong prediction:
Such a modelー私たちの目的である、よい汎化性能を持つモデル
「よい汎化性能を持つモデルはprediction accuracyを最大化し、すなわち、誤った予測をする確率 C(h) を最小化する」
クロネッカーのデルタを定義
(☆)の逆。yi == y^1のとき1
Bias
statistical bias(統計的なバイアス)
推論器のバイアスβ^は、その期待値E[β^]と真の値βの見積もりの差(式(8) E[β^]-β)
we compute the prediction bias as the difference between the expected prediction accuracy of a model and its true prediction accuracy.
「prediction biasを、モデルのprediction accuracyの期待値と真のprediction accuracyの間の差として計算する」
例:訓練データセットのprediction accuracyを計算
真のaccuracyを過大に見積もるので、楽観的なバイアスをかけてモデルの絶対のaccuracyを見積もったことになる
(IMO:訓練に使っているデータなので過大評価になる。特に過学習している場合)
Variance
statistical variance
Target function
特定のかつ未知の関数(a specific, unknown function)を訓練または近似したい
target function f(x)=y は私たちがモデル化したい真の関数f (·)である
Hypothesis
A hypothesis is a certain function that we believe (or hope) is similar to the true function, the target function f (·) that we want to model.
「仮説とは、私たちが真の関数に似ていると信じる(または望む)関数、すなわちモデル化したいtarget function f (·)である」
仮説=target function
例:スパムの分類であれば、hypothesisはスパムとスパムでないEメールを分けられる分類のこと
Model
In the machine learning field, the terms hypothesis and model are often used interchangeably.
「機械学習分野においては、仮説とモデルの使われ方は互換」
Learning algorithim
learning algorithm is a set of instructions that tried to model the target function using a training dataset.
「訓練データセットを使ってtarget functionをモデル化しようとする指示の集合」
学習アルゴリズム(learning algorithm)は仮説空間(可能な仮説の集合)から来る
最終仮説を定式化することで未知のtarget functionをモデル化するために、仮説空間は探索される
Hyperparameters
tuning parameters of a machine learning algorithm